Vào tháng 6 năm Nguyên Hòa thứ 10 (815), các thế lực phiên trấn nhà Đường phái thích khách đến đường phố Trường An ám sát tể tướng Võ Nguyên Hoành và làm trọng thương Trung thừa ngự sử Bùi Độ, khiến triều chính trở nên hỗn loạn. Các thế lực phiên trấn lại tiến tiếp một bước, đưa ra yêu cầu bãi miễn Bùi Độ, mới có thể dẹp an ý đồ phản trắc của họ. Bạch Cư Dị dâng tấu chương yêu cầu Đường Hiến Tông phải nghiêm trị hung thủ, khiến ông bị nghi ngờ "vượt quá quyền hạn của mình". Bạch Cư Dị vốn xưa nay thường làm thơ phúng dụ, đắc tội với nhiều nhân vật quyền quý trong triều nên những người này nhân cơ hội này đày ông đi làm Tư mã ở Giang Châu. Chức vụ Tư mã là trợ thủ của các quan Thứ sử. Vào thời trung kỳ nhà Đường, chức vụ này thường được sắp xếp cho các quan viên "phạm tội" – một kiểu loại bỏ kẻ thù chính trị trá hình. Sự cố này đã ảnh hưởng lớn đến Bạch Cư Dị và đó là một bước ngoặt trong cách suy nghĩ của ông. Kể từ thời điểm này, tinh thần đấu tranh xưa kia của ông đã dần dần trở nên phai nhạt và những cảm xúc tiêu cực dần dâng trào. Mùa thu năm Nguyên Hòa thứ 11 (816), Bạch Cư Dị lúc này đã bị giáng chức làm Tư mã ở Giang Châu đã 2 năm, trong lúc đêm tối tiễn biệt khách bên sông Tầm Dương, ông tình cờ nghe thấy tiếng đàn tỳ bà lúc thánh thót văng vẳng, lúc biến hóa lâm ly, lúc dạt dào xúc động xao xuyến, lúc ngưng bặt luyến tiếc phát ra từ một chiếc thuyền lơ lửng trôi gần đó. Ông đáp thuyền và phát hiện ra tiếng đàn được chơi bởi một người ca nữ với một thân phận chìm nổi, truân chuyên. Đồng cảm với cảnh ngộ của người kỹ nữ, ngẫm đến sự nghiệp long đong của mình, ông đã viết Tỳ bà hành, mô tả tiếng đàn để qua đó nói lên tâm trạng u uất, sầu thương, buồn thảm của kiếp người trong thời buổi bất an.